Collective portfolio: assessment of teaching and learning in health undergraduate courses / Portfolio coletivo: avaliação do ensino e apredizagem em cursos de graduação da saúde

Abstract The potential of the reflective collective portfolio as a method of teaching, learning and assessment needs to be emphasized. The objectives is to assess and validate the quality of the collective portfolio as a method of teaching, learning and assessment in the training of health professional. Portfolio quality was analyzed using an inventory of analysis that was adapted and tested for this study. In total, 70 portfolios were analyzed. The Kappa test was used to analyze reproducibility, confirming the level of agreement between the appraisers. Descriptive analysis and the t-test were performed to compare results from the years the portfolios were produced. The constructs (layout and organization, comprehensive, reflective, critical and creative thought) exhibited Cronbach alpha values above 0.7, confirming the high reliability of the tool. The weighted Kappa test revealed an elevated and significant agreement (+90%) between the appraisers. Notably, certain items and constructs exhibited significant differences over the years. All of the constructs were assessed better from 2011 onwards, when the assessment and self-assessment tool was implemented. The success of the portfolio depends on strategies that provide students with greater clarity and forms of developing the method.

Resumo O potencial do portfólio coletivo reflexivo como método de ensino, aprendizagem e avaliação precisa ser enfatizado. Os objetivos consistem em avaliar e validar a qualidade do portfólio coletivo como um método de ensino, aprendizagem e avaliação na formação de profissionais de saúde. A qualidade do portfólio foi analisada utilizando um inventário de análise que foi adaptado e testado para este estudo. No total, foram analisados 70 portfólios. O teste Kappa foi utilizado para analisar a reprodutibilidade, confirmando o nível de concordância entre os avaliadores. Análise descritiva e teste t foram realizados para comparar a construção do portfólio nos diferentes anos. Os construtos (layout e organização, compreensão, reflexão, crítica e pensamento criativo) apresentaram valores de alfa de Cronbach acima de 0,7, confirmando a alta confiabilidade da ferramenta. O teste Kappa ponderado revelou uma concordância elevada e significativa (+ 90%) entre os avaliadores. Notavelmente, certos itens e construtos apresentaram diferenças significativas ao longo dos anos. Todas as construções foram avaliadas melhor a partir de 2011, quando a ferramenta de avaliação e autoavaliação foi implementada. O sucesso do portfólio depende de estratégias que proporcionem aos alunos maior clareza e formas de desenvolver o método.

Avaliação da Vigilância em Saúde na Zona da Mata Mineira, Brasil: das normas à prática / Evaluation of Health Surveillance in the Zona da Mata Mineira: from standards to practice

Resumo A Vigilância em Saúde é de suma importância ao se defrontar com o atual cenário epidemiológico do Brasil. Objetiva-se avaliar o grau de atuação da Vigilância em Saúde da Zona da Mata Mineira. Trata-se de um estudo avaliativo. A coleta de dados ocorreu no primeiro semestre de 2016. O universo da pesquisa foi composto por sete municípios polo da Zona da Mata Mineira. Os municípios foram selecionados tendo como referência a presença e a atuação das vigilâncias: epidemiológica, ambiental e sanitária. Os sujeitos em análise foram os coordenadores das vigilâncias (n = 21), coordenadores de Vigilância em Saúde (n = 7) e secretários de saúde (n = 7). Foram realizadas entrevistas utilizando-se um questionário semiestruturado e elaborado baseado na tríade de Donabedian: Estrutura, Processo e Resultado. A fim de obter a classificação da atuação, da dimensão e subdimensões foi criado um sistema de escores, no qual se atribuiu pontuação para cada critério. Para classificação do grau de atuação da Vigilância em Saúde, os pontos de corte utilizados foram: incipiente, intermediário ou avançado, se obtiver até 5,99 pontos; entre 6,0 e 7,99 pontos e entre 8 e 10 pontos, respectivamente. O grau de atuação da Vigilância em Saúde em âmbito regional foi classificado como intermediário.

Abstract Health Surveillance is of paramount importance when confronted with the current Brazilian epidemiological setting. This study aims to evaluate the level of Health Surveillance in the Zona da Mata Mineira region. This is an evaluative study, and data were collected in the first half of 2016. The research universe consisted of seven municipalities in the Zona da Mata Mineira complex. Municipalities were selected with reference to available operational epidemiological, environmental and sanitary surveillance. The subjects under analysis were the Surveillance coordinators (n = 21), Health Surveillance coordinators (n = 7) and Health secretaries (n = 7). We conducted interviews using a semi-structured and elaborated questionnaire based on the Donabedian triad: Structure, Process and Outcome. A score system was established in order to obtain the classification of performance, realm and sub-realms, in which a score was assigned for each criterion. We used incipient, intermediate or advanced cutoff points to classify the level of Health Surveillance of scores were below 5.99 points, between 6.0 and 7.99 points and between 8 and 10 points, respectively. The level of regional Health Surveillance performance level was classified as an intermediate.